Ongetwijfeld heeft het kasteel Baelen, dat ongeveer in het midden van de achttiende eeuw gebouwd is, een ouder gebouw vervangen. De heerlijkheid Baelen Ruyff was vermoedelijk een 15de eeuwse afsplitsing van de oudere heerlijkheid Ruyff, dat nog gedeeltelijk bestond en dat men waarschijnlijk vergroot en compleet gerestaureerd heeft.
Het hoofdgebouw heeft een schilddak met aan beide zijden van de nok een schoorsteen. Het is gebouwd in Lodewijk XIII-stijl en sluit een indrukwekkende binnenplaats af die wordt geflankeerd door de zijvleugels. Het hoofdgebouw heeft een driehoekig fronton met daarop de wapens van de Pirons en de Franquinets. Links en rechts staan twee grote, vierkante torens met indrukwekkende spitsen, die meerdere rondingen vertonen en erg zeldzaam zijn voor deze streek. De torens zijn op het eerste gezicht symmetrisch, maar blijken zeer verschillend van constructie te zijn.
Ofschoon kasteel Baelen intact gebleven is, wordt het helaas verschrikkelijk ontsierd door de immense vleugels en bijgebouwen, bestaande uit troosteloos metselwerk, die de Alexienser paters lieten bouwen. Deze stichtten hier een tehuis voor verstandelijk gehandicapten.